pip install mlx-lm
pip install transformers
pip install torch
pip install numpy



# 下载模型
huggingface-cli download --resume-download Qwen/Qwen2.5-0.5B-Instruct --local-dir Qwen/qwen2.5-0.5B
# 模型训练
mlx_lm.lora --model ../../../models/Qwen/qwen2.5-0.5B --train --data ./data
# 模型合并
mlx_lm.fuse --model ../../../models/Qwen/qwen2.5-0.5B/ \
            --adapter-path adapters \
            --save-path ../../../models/Qwen/qwen2.5-0.5B-mlx

# 效果验证
mlx_lm.generate --model ../../../models/Qwen/qwen2.5-0.5B-mlx --prompt "蓝牙耳机坏了应该看什么科"

git clone https://github.com/ggerganov/llama.cpp

cd llama.cpp && mkdir build && cd build && cmake .. && make -j4

# 格式转换
../../../tools/llama.cpp/convert_hf_to_gguf.py ../../../models/Qwen/qwen2.5-0.5B-mlx --outtype f32 --outfile ../../../models/Qwen/qwen2.5-0.5B-lora-f32-mlx.gguf
# 在GGUF文件同级目录创建无后缀的Modelfile文件，内容示例
FROM /Applications/mlx-exo/ollama-lora-model/qwen2.5-0.5B-lora-f32-.gguf

ollama create qwen2.5-0.5B-lora-f32 -f ./Modelfile

ollama run qwen2.5-0.5B-lora-f32
